Ông là con nhà tướng, cha là danh tướng Hộc Luật Kim; từ nhỏ đã giỏi cưỡi ngựa bắn tên, nhờ võ nghệ mà nổi tiếng. Cuối thời Đông Ngụy, ông theo đi đánh Tây Ngụy gặp trưởng sử Mạc Hiếu Huy của địch trên đường, Quang giục ngựa đến bắn trúng ông ta, nhân đó mà bắt sống ngay trong trận. Khi ấy ông mới 17 tuổi, Cao Hoan rất khen ngợi, lập tức dùng làm đô đốc.

Cao Trừng làm thế tử, lấy Quang làm đô đốc thân tín, không lâu sau dời sang làm Chinh lỗ tướng quân, gia chức Vệ tướng quân. Năm Vũ Định thứ 5 (547), ông được phong Vĩnh Nhạc huyện tử. Quang thường theo Cao Trừng săn bắn ở Hoàn Kiều, gặp một con chim lớn, như đám mây lớn bay trên trời. Ông giương cung bắn trúng ngay trước cổ, con chim lăn nhào xuống đất, mới biết là một con điêu lớn. Cao Trừng trông thấy vô cùng kinh ngạc, Hình Tử Cao khen rằng: "Đây thật là 1 tay Xạ Điêu" từ bấy giờ, mọi người đều gọi Quang là ‘Lạc điêu đô đốc’. Sau đó, ông được ban chức Tả vệ tướng quân, tiến tước Bá.